อาร์ชดยุกคาร์ล ลูทวิช ประสูติเมื่อวันที่ 30 กรกฎาคม พ.ศ. 2376 ณ กรุงเวียนนา จักรวรรดิออสเตรีย เป็นพระโอรสองค์ที่ 3 ในอาร์ชดยุกฟรันทซ์ คาร์ล แห่งออสเตรีย (พระราชโอรสในจักรพรรดิฟรันทซ์ที่ 2 แห่งโรมันอันศักดิ์สิทธิ์) และเจ้าหญิงโซฟีแห่งบาวาเรีย เมื่อทรงพระเยาว์ อาร์ชดยุกฟรันทซ์ โยเซ็ฟ พระเชษฐาของพระองค์ได้ทรงขึ้นครองราชย์เป็นจักรพรรดิแห่งออสเตรีย ทำให้พระองค์ทรงเป็นรัชทายาทอันดับที่ 1 แห่งจักรวรรดิออสเตรีย (อาร์ชดยุกแฟร์ดีนันท์ มัคซีมีลีอาน พระเชษฐาไม่ได้ทรงอยู่ในลำดับการสืบสันตติวงศ์ เพราะว่าทรงไปเป็นจักรพรรดิแห่งเม็กซิโก) แต่เมื่ออาร์ชดยุกรูดอล์ฟ พระราชโอรสในจักรพรรดิฟรันทซ์ โยเซ็ฟได้ประสูติ พระองค์ก็ทรงถูกเลื่อนไปอยู่ในลำดับ 2 ในลำดับการสืบสันตติวงศ์

แต่เมื่ออาร์ชดยุกรูดอล์ฟ ได้ทรงสิ้นพระชนม์กะทันหันด้วยพระแสงปืน ทำให้พระองค์ได้ทรงถูกเลื่อนมาอยู่ในลำดับที่ 1 อีกครั้ง แต่พระองค์ได้ทรงปฏิเสธที่จะรับตำแหน่งองค์รัชทายาทแห่งจักรวรรดิออสเตรีย-ฮังการี โดยพระองค์ได้ทรงโอนมอบตำแหน่งองค์รัชทายาทให้กับพระโอรสองค์โตของพระองค์ อาร์ชดยุกฟรันทซ์ แฟร์ดีนันท์ ดังนั้น อาร์ชดยุกฟรันทซ์ แฟร์ดีนันท์ก็ทรงดำรงตำแหน่งองค์รัชทายาทตั้งแต่วันนั้นเป็นต้นมา